对自我监督学习（SSL）的最新分析发现，以下以数据为中心的属性对于学习良好表示至关重要：对任务 - 无关紧要的语义的不变性，在某些潜在空间中的类别可分离性以及从增强样品中可恢复标签的类别。但是，鉴于它们的离散，非欧成功的性质，图形数据集和图SSL方法不太可能满足这些属性。这提出了一个问题：如何绘制SSL方法（例如对比度学习（CL））如何工作？为了系统地探究这个问题，我们在使用通用图扩展（GGAS）时对CL进行概括分析，重点是以数据为中心的属性。我们的分析对GGA的局限性以及与任务相关的增强的必要性产生了正式见解。正如我们经验表明的那样，GGA不会在共同基准数据集上引起与任务相关的不变性，这只会导致对天真的，未经训练的基线的边际收益。我们的理论激发了合成数据生成过程，该过程能够控制与任务相关的信息并拥有预定义的最佳增强。这种灵活的基准测试有助于我们确定高级增强技术（例如自动化方法）中未认可的限制。总体而言，我们的工作在经验和理论上都严格地对以数据为中心的属性对图形SSL的增强策略和学习范式的影响进行了严格的背景。

虽然直接进行微调（FT）大规模调查，但在特定于任务数据上进行了预定的模型，众所周知，可以引起强大的分配任务绩效，但最近的作品表明，不同的适应协议，例如线性探测（LP），例如线性探测（LP） ft，可以改善分布的概括。但是，此类适应协议的设计空间仍未探索，并且对此类协议的评估主要集中在分配转移上。因此，在这项工作中，我们评估了跨分布转移和机器学习安全指标（例如，异常检测，校准，对腐败的鲁棒性）的共同适应协议。我们发现协议引起了不同的权衡，这些权衡从事先评估中显而易见。此外，我们证明，适当的数据增强和协议可以大大减轻这种权衡。最后，我们假设并从经验上看到，在LP期间使用促进硬度的增强功能，然后使用增强功能对ft进行ft可能对缓解折衷尤其有效。

神经网络（NNS）在广泛的应用中的成功导致对理解这些模型的潜在学习动态的兴趣增加。在本文中，我们通过采用图形透视并调查NNS图形结构与其性能之间的关系来超越学习动态的描述。具体地，我们提出（1）表示神经网络学习过程作为时间不断发展的图表（即，通过时代的一系列静态图形快照），（2）在简单的时间内捕获NN期间NN的结构变化发明内容，（3）利用结构摘要，以预测底层NN在分类或回归任务中的准确性。对于NNS的动态图形表示，我们探索完全连接和卷积层的结构表示，这是强大的NN模型的关键组件。我们的分析表明，图形统计数据简单摘要，如加权程度和特征向量中心，只能用于准确地预测NNS的性能。例如，基于Lenet架构的5次训练时期构造的基于加权的基于程度的概要，实现了超过93％的分类精度。我们的发现对于不同的NN架构，包括Lenet，VGG，AlexNet和Reset。

图表分类具有生物信息学，社会科学，自动假新闻检测，Web文档分类等中的应用程序。在许多实践方案中，包括网络级应用程序，其中标签稀缺或难以获得，无人监督的学习是一种自然范式，但它交易表现。最近，对比学习（CL）使得无监督的计算机视觉模型能够竞争对抗监督。分析Visual CL框架的理论和实证工作发现，利用大型数据集和域名感知增强对于框架成功至关重要。有趣的是，图表CL框架通常会在使用较小数据的顺序的同时报告高性能，并且使用可能损坏图形的底层属性的域名增强（例如，节点或边缘丢弃，功能捕获）。通过这些差异的激励，我们寻求确定：（i）为什么现有的图形Cl框架尽管增加了增强和有限的数据; （ii）是否遵守Visual CL原理可以提高图形分类任务的性能。通过广泛的分析，我们识别图形数据增强和评估协议的缺陷实践，这些协议通常用于图形CL文献中，并提出了未来的研究和应用的改进的实践和理智检查。我们表明，在小型基准数据集上，图形神经网络的归纳偏差可以显着补偿现有框架的局限性。在采用相对较大的图形分类任务的研究中，我们发现常用的域名忽视增强的表现不佳，同时遵守Visual Cl中的原则可以显着提高性能。例如，在基于图形的文档分类中，可以用于更好的Web搜索，我们显示任务相关的增强提高了20％的准确性。

灾难性忘记破坏了深神网络（DNN）在诸如持续学习和终身学习等方案中的有效性。尽管已经提出了几种解决这个问题的方法，但有限的工作解释了为什么这些方法效果很好。本文的目的是更好地解释一种避免灾难性遗忘的普遍使用的技术：二次正则化。我们表明，二次正规化器可以通过在每次训练迭代时插值当前和先前的值来忘记过去的任务。在多次训练迭代中，这种插值操作降低了更重要的模型参数的学习率，从而最大程度地减少了它们的运动。我们的分析还揭示了二次正则化的两个缺点：（a）参数插值对训练超参数的依赖性通常会导致训练不稳定性，并且（b）（b）将较低的重要性分配到更深的层，这通常是DNNS中遗忘的地方。通过对操作顺序的简单修改，我们表明可以轻松避免这些缺点，从而在4.5％降低平均遗忘时的平均准确度增加6.2 \％。我们通过在不同的环境中培训2000多个模型来确认结果的鲁棒性。可在\ url {https://github.com/ekdeepslubana/qrforgetting}上获得代码

Recent work has shown that large language models are capable of generating natural language reasoning steps or Chains-of-Thoughts (CoT) to answer a multi-step question when prompted to do so. This is insufficient, however, when the necessary knowledge is not available or up-to-date within a model's parameters. A straightforward approach to address this is to retrieve text from an external knowledge source using the question as a query and prepend it as context to the model's input. This, however, is also insufficient for multi-step QA where \textit{what to retrieve} depends on \textit{what has already been derived}. To address this issue we propose IRCoT, a new approach that interleaves retrieval with CoT for multi-step QA, guiding the retrieval with CoT and in turn using retrieved results to improve CoT. Our experiments with GPT3 show substantial improvements in retrieval (up to 22 points) and downstream QA (up to 16 points) over the baselines on four datasets: HotpotQA, 2WikiMultihopQA, MuSiQue, and IIRC. Notably, our method also works well for much smaller models such as T5-Flan-large (0.7B) without any additional training.

基于姿势的动作识别主要是通过以整体化处理输入骨骼的方法来解决的，即姿势树中的关节是整体处理的。但是，这种方法忽略了这样一个事实，即行动类别通常以局部动力动力学为特征，这些动力动力学仅涉及涉及手（例如“竖起大拇指”）或腿部（例如``踢''）的零件联合组的小子集。尽管存在基于部分组的方法，但在全球姿势框架内并未考虑每个部分组，从而导致这种方法缺乏。此外，常规方法采用独立的方式流（例如关节，骨，关节速度，骨速度），并在这些流中多次训练网络，从而大大增加了训练参数的数量。为了解决这些问题，我们介绍了PSUMNET，这是一种新颖的方法，用于可扩展有效的基于姿势的动作识别。在表示级别，我们提出了一种基于全球框架的部分流方法，而不是基于常规模态流。在每个部分流中，从多种模式的相关数据被处理管道统一和消耗。在实验上，PSumnet在广泛使用的NTURGB+D 60/120数据集和密集的关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。 PSUMNET高效，优于竞争方法，使用100％-400％的参数。 PSUMNET还概括为具有竞争性能的SHREC手势数据集。总体而言，PSUMNET的可伸缩性，性能和效率使其成为动作识别以及在Compute限制的嵌入式和边缘设备上部署的吸引人选择。可以在https://github.com/skelemoa/psumnet上访问代码和预算模型

人们的个人卫生习惯在每日生活方式中照顾身体和健康的状况。保持良好的卫生习惯不仅减少了患疾病的机会，而且还可以降低社区中传播疾病的风险。鉴于目前的大流行，每天的习惯，例如洗手或定期淋浴，在人们中至关重要，尤其是对于单独生活在家里或辅助生活设施中的老年人。本文提出了一个新颖的非侵入性框架，用于使用我们采用机器学习技术的振动传感器监测人卫生。该方法基于地球通传感器，数字化器和实用外壳中具有成本效益的计算机板的组合。监测日常卫生常规可能有助于医疗保健专业人员积极主动，而不是反应性，以识别和控制社区内潜在暴发的传播。实验结果表明，将支持向量机（SVM）用于二元分类，在不同卫生习惯的分类中表现出约95％的有希望的准确性。此外，基于树的分类器（随机福雷斯特和决策树）通过实现最高精度（100％）优于其他模型，这意味着可以使用振动和非侵入性传感器对卫生事件进行分类，以监测卫生活动。

对于任何游戏人工智能任务，包括游戏玩法，测试，玩家建模和程序内容生成，访问准确的游戏状态信息至关重要。自我监督的学习（SSL）技术已证明能够从游戏的高维像素输入到压缩潜在表示中从高维的像素输入中推断出准确的游戏状态信息。对比度学习是SSL的流行范式之一，其中对游戏图像的视觉理解来自与简单图像增强方法定义的不同和类似的游戏状态。在这项研究中，我们介绍了一种新的游戏场景增强技术（名为GameClr），该技术利用游戏引擎来定义和综合不同游戏状态的特定，高度控制的效果图，从而提高了对比性学习表现。我们在Carla驱动模拟器环境的图像上测试了GAMECLR对比度学习技术，并将其与流行的SIMCLR基线SSL方法进行比较。我们的结果表明，与基线相比，GAMECLR可以更准确地从游戏录像中推断游戏的状态信息。引入的方法使我们能够通过直接利用屏幕像素作为输入来进行游戏人工智能研究。

30天的医院再入院是一个长期存在的医疗问题，会影响患者的发病率和死亡率，每年造成数十亿美元的损失。最近，已经创建了机器学习模型来预测特定疾病患者的住院再入院风险，但是不存在任何模型来预测所有患者的风险。我们开发了一个双向长期记忆（LSTM）网络，该网络能够使用随时可用的保险数据（住院访问，门诊就诊和药物处方）来预测任何入院患者的30天重新入选，无论其原因如何。使用历史，住院和入院后数据时，表现最佳模型的ROC AUC为0.763（0.011）。 LSTM模型显着优于基线随机森林分类器，表明了解事件的顺序对于模型预测很重要。与仅住院数据相比，与住院数据相比，将30天的历史数据纳入也显着改善了模型性能，这表明患者入院前的临床病史，包括门诊就诊和药房数据是重新入院的重要贡献者。我们的结果表明，机器学习模型能够使用结构化保险计费数据以合理的准确性来预测住院再入院的风险。由于可以从网站中提取计费数据或同等代理人，因此可以部署此类模型以识别有入院风险的患者，或者分配更多可靠的随访（更近的后续后续，家庭健康，邮寄药物） - 出院后风险患者。